from pyspark.sql import SparkSession

if __name__ == '__main__':
    spark = SparkSession.builder. \
        appName("test"). \
        master("local[*]"). \
        config("spark.sql.shuffle.partitions", 2). \
        getOrCreate()

    df = spark.read.format("csv"). \
        option("sep", ";"). \
        option("header", True). \
        load("../data/input/sql/people2.csv")

    # dropDuplicates
    # 无参数时，对全局列去重
    df.dropDuplicates().show()

    df.dropDuplicates(['age', 'job']).show()

    # 数据清洗： 缺失值处理
    # 对缺失值的数据进行删除
    df.dropna().show()
    # thresh=3 表示 ，最少满足3个有效列，不满足 就删除当前行数据
    df.dropna(thresh=3).show()

    df.dropna(thresh=2, subset=['name', 'age']).show()

    # 缺失值处理可以完成对缺失值进行填充
    df.fillna("loss").show()

    # 指定列进行填充
    df.fillna("N/A", subset=['job']).show()

    # 设定一个字典，对所有列进行填充
    df.fillna({"name": "未知姓名", "age": 1, "job": "worker"}).show()
